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Abstract 


Le tecnologie per il rilievo e la rappresentazione digitale sono state spesso utilizzate per la visualizza- 
zione di opere d'arte che non esistono più, o sono state rimosse dalla loro originaria collocazione. La 
caratteristica che accomuna queste applicazioni potrebbe essere riassunta dal motto ‘mostrare l'invi- 
sibile”, gia utilizzato in occasione di ricerche [Colosi et al. 2015; Gambin et al. 2021]. 

Obiettivo della ricerca è la visualizzazione di un soffitto dipinto del XIV secolo, di maestranze ignote, 
che copriva la sala del Capitolo nel Convento di Santa Caterina a Palermo. 

La sala viene riconfigurata nel XVIII secolo per essere utilizzata come sacrestia: due file di armadi 
vengono addossate alle pareti longitudinali e una volta a botte in gesso viene realizzata al di sotto del 
soffitto, nascondendolo alla vista. 
Tecniche laser scanning e fotogrammetriche sono state utilizzate per costruire un modello 3D texturizzato 
del soffitto, utilizzato per due differenti soluzioni di visualizzazione: i) motion tracking per la divulgazione e la 
fruizione da remoto; ii) Realtà Aumentata per la fruizione in situ. 
L'esperimento sulla visualizzazione AR è stato condotto con uno strumento per Unity recentemente pro- 
dotto da Vuforia, che usa scansioni 3D per calcolare la posizione e l'orientamento di un dispositivo mobile. 
Entrambe le tecniche integrano la visione di una scena reale con la visualizzazione del modello 3D e 
raggiungono l'obiettivo di “mostrare l'invisibile”. 
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Introduzione 


Le tecnologie per il rilievo e la rappresentazione digitale sono state ampiamente utilizzate nel 
settore dei Beni culturali per tre finalità facilmente riconoscibili: i) la documentazione, fina- 
lizzata allo studio e alla conservazione di opere d'arte e di architettura; ii) la ricostruzion 
opere di architettura mai realizzate e di monumenti totalmente o parzialmente scompars 
la contestualizzazione di elementi decorativi di un'opera di architettura, oggi custoditi in strut- 


ture museali. Le attività finalizzate al 


a ricostruzi 


one di edifici monument 


zazione di opere d'arte sono state particolarmente arricchite dall’introduzione delle tecni 
digitali, poiché i loro risultati possono essere divulgati e visualizzati con un'efficacia impensabi- 


le nell'era pre-digitale. Nel campo d 
l'esperienza di riferimento rimane t 


ella ricostr 
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i; iil) 
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che 


uzione di opere di architettura mai realizzate 


utt'oggi la serie Unbuilt monuments, sviluppata dall'archi- 
tetto giapponese Takehiko Nagakura presso | 


Nello stesso periodo un team plur 


MIT di Boston alla fine dello scorso secolo. 
idisciplinare sviluppa in Francia il Progetto Cluny, uno dei 


primi esiti compiuti e di alto profilo nel campo della ricostruzione di edifici parzialmente 


scomparsi; il progetto giunge alla costruzione di un modello tridimensionale della Cattedrale 
di Cluny e alla realizzazione di un sistema prototipale per la visualizzazione in situ di imma- 


gini panoramiche; il modello ricostruttivo del 


a Cattedrale, visuali 
le connessioni con le parti della Cattedrale ancora visibili [Landrie 
ricerche indirizzate alla ricostruzione di edifici scomparsi sono state sviluppate, com'è facile 
immaginare, in ambito archeologico; un pur breve sommario di queste ricerche colmere 
le pagine di questo contributo; la ricerca sulla ricostruzione del tem 
è un esempio di buona pratica, per la virtuosa combinazione tra le più avanzate soluzioni tec- 
nologiche del periodo e un rigoroso studio archeologico [Gabellon 
contestualizzazione di opere d'arte che decoravano importanti ed 
in strutture museali, il lavoro di riferimento rimane, a giudizio di chi scrive, il breve film 


u et al. 2012]. Molte d 


pio C di Selinunte in Si 


zzato nel display, mostra 


e 2006]. Nel settore della 
ifici e sono oggi custodite 


elle 


bbe 
cilia 


The 


Parthenon, realizzato nel 2004 da un team pluridisciplinare guidato dal ricercatore canadese 


Paul Debevec. Il video utilizza strumentazioni digitali per la contestualizzazione virtuale d 


elle 


statue di marmo oggi esposte al British Museum di Londra nella loro originaria collocazione 


sulla fronte principale del Partenone [ 


Debevec 2003]. 


Tutte le ricerche sopra ricordate condividono l'obiettivo di rendere visibile qualcosa che non 
è mai stato o non è più visibile; il loro tratto comune potrebbe essere identificato dal motto 


“mostrare l'invisibile”. II motto si presta a 


trettanto bene a identificare la ricerca descritta in 


questo contributo, che utilizza tecniche digitali di rillevo e rappresentazione per rendere visi- 


bile un'opera d'arte esistente ma nascosta 
in una sala del monastero di santa Cateri 


costruita nel XVIII secolo. 


Il Caso studio 


allo sguardo, un soffitto dipinto del XIV secolo sito 
na a Palermo, oggi nascosto da una volta in gesso 


Il monastero femminile di clausura di Santa Caterina deve la sua fondazione alle volontà 


testamentarie di Benvenuta Mastrangelo, vedova senza eredi del conte Guglie 
deschi di Santa Fiora, e di sua madre, Palma de Magistro. La costruzione della sede monas 
risale al primo decennio del XIV secolo. Il complesso occupa una vasta area delimitata a Nord 
da Corso Vittorio Emanuele (l'antico Cassaro) e a sud da Piazza Bellini, con 
manne di Santa Maria dell'Ammiraglio e di San Cataldo. Le celle monastiche 
sui lati del grande chiostro, che occupa 


secolo, quando essa fu adibita a sacresti 


gitudinali per custodire i paramenti 


una volta in gesso impostata sulla parte 


La volta è decorata da elementi che 


del chiostro ed era presumibilmente uti 


le chiese nor- 
si dispongono 
a parte interna della struttura. Il soffitto ligneo de 
XIV secolo copriva una sala rettangolare di 11.60 per 6.95 metri, che si apriva sull'ala nord 
izzata per le riunioni del capitolo del convento 
Ol). L'attuale assetto della sala è il risultato di una trasformazione avvenuta alla fine del XVII 
a e furono costruiti armadi lignei lungo i muri lon- 


mo Aldobran- 


tica 


(fig, 


sacri, riducendo la dimensione trasversale a 440 metri; 


sommitale degli armadi nascose il soffitto dipinto. 


si ripetono identicamente: fasce blu trasversali e motivi 
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Fig. 01. A sinistra: La 
Sala ubicate nell'ala 
nord del chiostro. A 
destra: il convento 

di Santa Caterina 

nel centro storico di 
Palermo (immagine 
prodotta dagli autori). 


Fig. 02. A sinistra: 

La sala coperta 

dalla volta in gesso 
decorate con motivi 
ripetitivi. Al centro: 
Pianta dalla sala con la 
proiezione del soffitto 
a puntinato; gli armadi 
ignei e le botole sono 
evidenziati in rosso. 

A destra: sezione 
rasversale della sala 
(immagine prodotta 
dagli autori). 


aniconici in cornici rettangolari; fanno eccezione alcune pitture a colori tenui, di soggetto 
figurato, inscritte in cornici circolari. La trasformazione della sala fu realizzata in modo che 
l'estradosso della volta e il soffitto decorato potessero essere periodicamente ispezionati: 
due strette botole, ubicate alle estremità contrapposte dei lati lunghi dell'aula, consentono di 
raggiungere, con l'ausilio di scale a pioli, due camminamenti che si sviluppano sopra gli armadi 
lignei (fig. 02). Il soffitto è sorretto da sei travi maestre, incassate nei muri, che delimitano 
cinque campate decorate da cassettoni (fig. 03). 

La decorazione pittorica, realizzata a tempera, mostra analogie formali e stilistiche con il ben 
più famoso soffitto della Sala Magna dello Steri di Palermo. Le pitture delle travi raffigurano 
soggetti antropomorfi, zoomorfi, fitomorfi, figure chimeriche e araldiche; i cassettoni mo- 
strano semplici elementi geometrici su un fondo neutro (fig. 04). 

Il soffitto presenta diversi fenomeni di degrado che interessano sia la struttura che le raffigu- 
razioni pittoriche. Il degrado strutturale, che ha quasi certamente origini remote, si manifesta 
in una evidente curvatura delle travi lignee. Le soluzioni adottate in passato per consolidare 
la struttura sono ancora visibili sul posto: i) una grande trave in legno che attraversa l’intero 
asse longitudinale del soffitto; ii) quattro travi in acciaio direttamente addossate alle facce 
delle travi della parte centrale del soffitto. Anche le pitture avrebbero bisogno di un'opera 
di restauro; le parti estreme del soffitto, sopra i camminamenti, sono state coperte da una 
pittura di colore bianco. 
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Fig. 03. Modello 
NURBS model dell'e- 
stradosso della volta in 
gesso con i cammina- 
menti e modello mesh 
texturizzato del soffit- 
to (immagine prodotta 
dagli autori). 


Rilievo, Disegno e Modellazione 


Il rilievo con laser scanner è stato eseguito all'interno della sala, dell'intercapedine con l'estrados- 
so della volta e il soffitto e delle celle monastiche al livello soprastante (fig. 05); la nuvola di punti 
prodotta a seguito del processo di registrazione è stata utilizzata per: i) la redazione di elaborati 
grafici convenzionali (piante, sezioni); ii) la costruzione dei modelli NURBS della Sala, dell’estra- 
dosso della volta con i camminamenti e delle celle monastiche; il modello mesh del soffitto (fig. 
06). La nuvola di punti è stata inoltre per l'orientamento del modello fotogrammetrico SfM. 
Lo spazio ridotto tra la struttura portante della volta e il soffitto e la necessità di evitare il mo- 
vimento di persone sulla superficie di estradosso della volta hanno condotto alla costruzione 
di un sistema artigianale per l'acquisizione delle riprese fotografiche, composto da una barra 
di alluminio e da un piccolo carrello scorrevole al quale è stata fissata la macchina fotografica. 
La traslazione della camera è stata controllata con un'asta e le prese sono state acquisite da 
remoto con l'ausilio di una app per smartphone (fig, 07). 

Le immagini fotografiche sono state orientate e riferite al sistema di coordinate del rilievo con 
laser scanner; la mesh del soffitto è stata infine importata nel software di fotogrammetria ed 
è stata texturizzata (fig. 08). 

Il modello texturizzato documenta la consistenza del soffitto e delle sue decorazioni; riman- 
gono escluse dall'attività di documentazione le facce delle travi nascoste dai profilati in acciaio. 
Al fine di consentirne l'uso in applicazioni finalizzate alla fruizione e alla divulgazione, il modello 
texturizzato del soffitto è stato ottimizzato e la superficie mesh è stata suddivisa in tre parti, 
separando l'area centrale decorata dalle due fasce laterali dipinte di bianco. 

Questa suddivisione ha permesso, utilizzando tecniche di render to texture di Blender, la gene- 
razione di una texture per le superfici imbiancate, che simula le informazioni di ombreggiatura 
generate dalla simulazione dell'ambient occlusion. Questa tecnica ha permesso di enfatizzare la 
volumetria delle superfici prive di informazioni cromatiche, riducendo così l'impatto della diver- 
sa caratterizzazione cromatica rispetto alle superfici dipinte. 
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Fig. 04. Immagini della 
decorazione pittorica 
del soffitto (immagine 
prodotta dagli autori). 


Fig. 05. A sinistra: lo 
scanner visto dalla 
botola e la parte del 
soffitto coperta da 
vernice bianca. A 
destra: punti di stazio- 
namento per il rilievo 
n 


con laser scanner del 
soffitto (immagine 
prodotta dagli autori). 


La texture del modello 3D dei muri della sala è stata costruita in modo da smaterializzare que- 
ste superfici in modo graduale dall'alto verso il basso, ed evitare così che esse nascondessero gli 
armadi di legno. Questa fase di elaborazione ha permesso di rendere il modello texturizzato 
del soffitto adatto al suo utilizzo sia in applicazioni motion tracking che per la visualizzazione in 
realtà Aumentata, permettendo una morbida transizione fra il modello e la scena reale. 


Visualizzazione con tecniche di Motion Tracking 


Il motion tracking, tecnica ampiamente utilizzata nell'industria cinematografica, consiste nell'e- 
strarre, da un flusso video, il percorso seguito dalla telecamera; tale percorso può essere utiliz- 
zato, in un software di simulazione, per eseguire la ripresa di un oggetto virtuale. La combinazio- 
ne dei due video, reale e virtuale, produce nell'osservatore l'impressione che l'oggetto virtuale 
sia parte integrante della scena reale. In questo studio la sperimentazione sul motion tracking 
è stata condotta con il software Blender su una ripresa video eseguita all'interno della Sala. 
Il workflow che consente di calcolare il percorso della telecamera si articola in due passaggi: il 
primo, basato su tecniche SfM e denominato camera solving, identifica e traccia, in una sequenza 
di frame, alcuni punti caratteristici denominati marker; il tracciamento dei marker permette di 
calcolare il percorso della telecamera in un sistema di riferimento relativo. 

Il secondo passaggio dell'elaborazione, chiamato Scene Solving, è simile all'orientamento esterno 
fotogrammetrico: questa procedura conduce all'orientamento e alla caratterizzazione dimen- 
sionale del sistema calcolato dal camera solving. In questo studio tre marker individuati sulla 
superficie di intradosso della volta hanno permesso di identificare: i) un piano orizzontale; ii) un 
punto di origine; iii) un asse di riferimento e una distanza misurata su quest'asse. 

Alla fine del processo, il percorso della camera viene riferito al sistema di coordinate individua- 
to dai tre markers (fig. 09). Nel passaggio successivo il modello del soffitto è stato caricato in 
Blender ed è stato riferito al sistema di coordinate introdotto con il Scene Solving. 
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Fig. 06. Modello NUR- 
BS della sala, della 
volta e dei cammina- 
menti; modello mesh 
del soffitto. Le travi in 
acciaio sono eviden- 
ziate in grigio scuro 
(immagine prodotta 
dagli autori). 


Fig. 07. Supporto 
artigianale per l'acqui- 
sizione delle immagini 
fotografiche. L'imma- 

ine a destra mostra 
le crepe presenti sulla 
superficie di una trave 
(immagine prodotta 
dagli autori). 


Fig. 08. Texturing 
fotogrammetrico del 
modello mesh estratto 
dalla nuvola di punti 
acquisita dallo scanner 
laser (immagine pro- 
dotta dagli autori). 
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Si è dunque proceduto a generare una sequenza video del soffitto utilizzando il percorso della 
telecamera calcolato dal motion tracking. Nella fase conclusiva il video della scena reale e quello 
del modello del soffitto sono stati combinati in Blender; un fattore di trasparenza applicato 
all'immagine della volta ha permesso di mostrare il soffitto all'interno della sala attuale (fig. 10). 


Visualizzazione in Realtà Aumentata 


L'applicazione AR utilizzata in questa ricerca è stata sviluppata sfruttando con il tool Vuforia 
Area Target per Unity, che consente di utilizzare la scansione di un ambiente per riferire ad 
esso modelli 3D o altre informazioni multimediali. L'uso di scansioni 3D permette di rendere 
‘esperienza AR stabile nel tempo e condivisibile da più utenti contemporaneamente. 

Quando l'App esegue l'abbinamento fra la scansione laser e il flusso video acquisito dalla te- 
ecamera del dispositivo mobile, gli oggetti digitali appaiono ancorati alla scena reale; l'utente 
può allora muoversi liberamente all'interno dello spazio reale e osservare gli oggetti digitali da 
qualsiasi punto di vista. L'applicazione Area Target Generator di Vuforia permette di convertire 
dati di scansione 3D in un database compatibile con Unity. Ad oggi ne supporta 
solo i seguenti sistemi di scansione: i) la camera Matterport™ Pro2 3D; ii) gli scanner Nav- 
Vis M6 e VLX, iii) gli scanner Leica BLK360 e RTC360. Un'apposita applicazione per siste- 
mi IOS consente l'utilizzo di scansioni 3D acquisite da dispositivi Apple dotati di sensori lidar. 
Nel caso in esame la sala è stata rilevata con uno scanner Leica BLK 360; le scansioni sono state 
acquisite con risoluzione low, e le immagini sono state acquisite disattivando la modalità HDR. 
Le scansioni, registrate con l'applicazione Leica Cyclone, sono state esportate nel formato e57, 
questo formato offre la possibilità di registrare nello stesso file sia la nuvola di punti che le 
immagini scattate dallo scanner. L'applicazione Area Target Generator usa questi dati per la 
creazione del database. Il database viene infine importato in Unity come unico pacchetto; l'at- 
tivazione del motore SDK di Vuforia permette a Unity di visualizzare il database sotto forma 
di nuvola di punti. Il passaggio conclusivo è stato dedicato all'importazione in Unity del modello 
ottimizzato del soffitto e al suo allineamento con la nuvola di punti del database (fig. 11). 
L'applicazione, sviluppata per il sistema operativo Android è stata testata sul posto con uno 
smartphone Samsung S21 (fig. 12). Il test sulla visualizzazione in Realtà Aumentata ha mostrato 
criticità inattese sullallineamento fra il modello digitale e la scena reale; all'avvio della sessione 
AR il sistema ha funzionato egregiamente e ha prodotto un corretto allineamento, dimostran- 
do l'efficacia del software utilizzato per la sperimentazione; nella parte successiva della sessione 
di visualizzazione il soffitto appariva tuttavia disallineato rispetto alla scena, probabilmente a 
causa del carattere ripetitivo delle decorazioni della superficie voltata che ostacolano il rico- 
noscimento della scena reale. L'ipotesi scaturisce dal fatto che il disallineamento è dovuto a una 
traslazione del modello lungo l'asse longitudinale della sala, secondo spostamenti che sembrano 
corrispondere all'ampiezza di una campata del soffitto o di suoi multipli. 


Conclusioni 


La ricerca ha condotto alla documentazione e alla sperimentazione di forme di visualizzazione 
di un soffitto dipinto del XIV secolo, oggi nascosto alla vista da una volta in gesso costruita nel 
XVIII secolo. Strumenti di rilievo e rappresentazione digitale hanno condotto alla costruzione 
di un modello tridimensionale texturizzato del soffitto, che ne documenta le caratteristiche ge- 
ometriche e cromatiche. Il modello è stato ottimizzato per il suo utilizzo in applicazioni motion 
tracking, per la divulgazione e la fruizione a distanza, e in applicazioni di Realtà Aumentata per 
la fruizione in situ. Il test sulla Realtà Aumentata ha evidenziato scarti nell'allineamento che si 
sono manifestati nelle fasi successive all'avvio della sessione di visualizzazione, presumibilmente 
riconducibili al carattere ripetitivo delle decorazioni interne della sala. 

Ulteriori sperimentazioni saranno dedicate alla verifica dell'ipotesi circa le ragioni dei fenomeni 
di disallineamento e all'eventuale sperimentazione di correttivi che garantiscano la permanenza 
del corretto allineamento iniziale. 
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Fig. 09. Orientamento 
esterno del Sistema di 
riferimento generato 
dal motion tracking 
con l'ausilio di tre mar- 
kers. Nell'immagine 

in basso sono visibili 
gli assi x e y colorati 

In rosso e verde (im- 
magine prodotta dagli 
autori). 


Fig. 10. Un frame 

del video generato 
attraverso il processo 
di compositing (im- 
magine prodotta dagli 
autori). 


Fig. | |. A sinistra: 
Rilievo della sala con 

lo scanner Leica BLK 
360. A destra: allinea- 
mento del modello del 
soffitto sulla nuvola di 
punti generata dall’ap- 
plicazione Area Target 
Generator di Vuforia 
sulla base dei dati 
acquisiti dallo scanner 
(immagine prodott 
dagli autori). 
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Fig. 12. Sessione di vi- 
sualizzazione in Realtà 
Aumentata (immagine 
prodotta dagli autori). 
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Abstract 


Digital surveying and representation technologies have been widely used for the visualization of works 
of art and architecture that no longer exist or have been moved from their original location. These 
researches share a common feature, that can be resumed by the motto “Display the invisible”, already 
used in research experiences [Colosi et al. 2015; Gambin et al. 202 |]. 

The purpose of this research is the visualization of a 14th century wooden ceiling, painted by anon- 
ymous artists, that covered the hall used for the assembly of the Chapter in the convent of Santa 
Caterina, at the heart of the historic center of Palermo. 

The hall was reshaped at the end of the | 8th century to serve as a sacristy: the longitudinal walls were 
covered by wooden wardrobes and a plaster vault, built above the wardrobes, concealed the painted 
ceiling. Laser scanning and photogrammetric surveying techniques have been used to build up a 3D 
textured model of the ceiling; this model has been used for two different visualization solutions: mo- 
tion tracking for divulgation and remote fruition; Augmented Reality for on-site visualization. 

The experiment on AR visualization tested a tool for Unity, recently developed by Vuforia, that uses 
3D scans of a real scene to calculate the pose and orientation of a mobile device. 

Both techniques mix the vision of the real scene with the visualization of the 3D model, thus ‘‘display- 
ing the invisible”. 
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Introduction 


In the past two decades digital surveying and representation technologies have been widely 
used in the field of cultural heritage for at least three purposes: i) documentation, for the study 
and the preservation of works of art and architecture; ii) reconstruction of unbuilt or vanished 
monuments; iii) contextualization of decorative elements of a monument that are today exhib- 
ited in museums. These activities have a long tradition and were strongly developed after the 
late | 8th century, when built heritage came to be considered an opportunity and a value. Digital 
technologies provided new opportunities in all the mentioned activities and allowed a deeper 
observation of architecture and art. The processes aiming at the reconstruction of monuments 
and at the contextualization of works of art are particularly favored by digital technologies, 
because their outputs can be visualized with different amazing techniques, unconceivable in 
the pre-digital era. The reference works for the reconstruction of unbuilt monuments are the 
utmost experiments led by the Japanese architect Takehiko Nagakura at the MIT of Boston in 
the last decade of the past century. At the same time a French multidisciplinary team developed 
the Cluny Project, one of the first relevant results in the field of the reconstruction of partially 
vanished monuments; the project led to the construction of the 3D model of the Cathedral 
of Cluny and to the design and implementation of a prototype display that allowed the on-site 
visualization of a panoramic image of the reconstruction model, that appears connected to the 
parts of the monument still visible on site [Landrieu et al. 2012]. 

As expected, lots of researches on partially vanished monuments addressed archaeology; the 
reconstruction of the Temple C of Selinunte in Sicily is surely the model of a good practice 
for similar studies, since tt combined up to date software and hardware tools with an accurate 
archaeological study [Gabellone 2006]. The pioneering and reference work in the field of con- 
textualization of works of art that decorated buildings and are today exhibited in museums, is 
the short movie The Parthenon, created in 2004 by a multidisciplinary team led by the Canadian 
computer science researcher Paul Debevec. The movie used digital technologies to virtually 
place the marble statues, today exhibited in the British Museum of London, in their original 
location in the front of the Parthenon [Debevec 2003]. All the mentioned researches aim at 
visualizing something that has never been, or is no more, visible; the common feature of these 
researches could be resumed by the motto ‘display the invisible’. This motto properly illustrates 
the aim of the research reported in this paper, where digital surveying and representation 
techniques are used to display an extant but invisible work of art, a 14th century painted ceiling 
located in a hall of the convent of Santa Caterina in Palermo, today hidden by a plaster vault 
built in the | 8th century. 


The case study 


The feminine seclusion convent of Santa Caterina was founded in execution of the testamen- 
tary wills of Benvenuta Mastrangelo, widow of the Count Guglielmo Aldobrandeschi of Santa 
Fiora, and her mother Palma de Magistro. The construction of the convent dates from the 
first decade of the 14th century. The convent covers a wide area delimited by Corso Vittorio 
Emanuele (formerly named Cassaro) in the North and by Piazza Bellini, with the Norman 
churches of San Cataldo and Santa Maria dell'Ammiraglio, in the South. The monastic cells 
face the great cloister that takes the core of the convent. The 14th century painted ceiling 
covered a rectangular hall, presumably used for the assembly of the Chapter, that measures 
| 1.60 by 6.95 meters and opens onto the northern wing of the cloister (fig. 01). The present 
layout of the hall is the result of transformations dated from the late | 8th century when the 
hall became a Sacristy and was therefore adapted to store the sacred vestments: the cross 
size was reduced to 4.40 meters by the construction of wooden wardrobes along the lon- 
gitudinal walls; a plaster vault, set at the top of the wardrobes, covered the painted ceiling. 
This vault features a repetitive decoration made of six blue cross strips that delimit seven bays. 
The bays share the same decoration, except for some faint paintings inside circular frames. 
The transformation kept into account the need for periodic inspection of the extrados of the 
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Fig. 01. Left: The hall 
in the northern wing 
of the cloister. Right: 
The convent of Santa 
Caterina in the historic 
center of Palermo 
(Authors' image). 


Ng 02. Left: An image 
of the hall covered by 
he plaster vault with 
repetitive decoration 
pattern. Middle: Plan 
of the hall with the 
dotted projection of 
he ceiling; wardrobes 
and trapdoors are hi- 
dica in red. Right: 
ros section of the hall 
Authors' image). 


vault and the painted ceiling; two trapdoors, located at the opposite ends of the longitudinal 
sides of the hall, allow to access, with the aid of a ladder, two pathways running above the wood- 
en wardrobes (fig. 02). The painted ceiling is made of six bearing beams, sticked to the walls, 
that delimit five bays decorated by coffers (fig. 03). The ceiling, decorated by tempera paintings, 
shares formal and stylistic features with the well-known coeval ceiling that covers the Great 
Hall in the Steri of Palermo. The paintings that decorate the beams depict human beings, ani- 
mals, plants and imaginary creatures; on the coffers, simple geometric features are painted on 
a neutral background (fig. 04). The ceiling shows many decay phenomena that affect both the 
paintings and the structure. The structural decay is shown by the curved shape of the beams. 
The solutions experimented in the past to reinforce the structure are still on site: i) a wooden 
huge beam on the longitudinal axe of the ceiling; il) four steel beams paired to the wooden 
beams in the inner part of the ceiling. The decay of the paintings is due to the dust and to the 
breaks on the surface of the beams; the paintings of the part of the ceiling above the inspection 
pathways are today covered by a white coating. 


Surveying, Drawing and Modeling Process 
Laser scans have been taken inside the hall, in the space above the vault and in the monastic 


cells above the ceiling (fig. 05); the point cloud resulting from the registration process allowed 
the extraction of: i) drawings (plans and sections); the 3D NURBS models of: the hall, the 
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Fig. 03. 3D NURBS 
model of the extrados 
of the plaster vault 
with the pathways 

and textured mesh 
model of the ceiling 
(Authors' image)... 


extrados of the vault with the pathways, the monastic cells; ili) the mesh model of the ceiling. 
The laser scanning point cloud was finally used the orientation and the dimensional reference 
of the photogrammetric SfM model of the ceiling (fig. 06). 

The narrow gap between the plaster vault and the ceiling, and the need to avoid the move- 
ment of operators on the extrados of the vault, suggested the setup of a handmade solution 
for the acquisition of images: the camera was fixed to a slider running inside an aluminum bar 
and was moved forth and back between the beams, with the aid of a stick; photo shooting 
was remotely controlled by an app for smartphones (fig. 07). 

Photos have been oriented and referred to the laser scanning reference system; the mesh of the 
ceiling has been imported in the photogrammetry tool and has been finally textured (fig. 08). 
The textured model documents the geometric and the color features of the ceiling; the faces 
of the beams covered by the steel supports could not be shot nor scanned and remained 
therefore undocumented. The use of the textured model in experiments aiming at fruition 
and divulgation purposes, demanded an optimization phase, developed in Blender. 

In the first step the model has been split in three parts, respectively referred to the inner area 
decorated by the paintings and to the areas above the pathways covered by the white coating. 
The subdivision allowed to generate, with render to texture tools, a texture for the white 
areas that uses the shading data generated by the ambient occlusion simulation. This work- 
flow allowed to highlight the 3D shape of the white surfaces, thus reducing the difference 
between these surfaces and the painted ones. A transparency gradient has been applied to 
the texture of the 3D model of the walls, to vanish their lower part and prevent the model 
to hide the wardrobes of the hall. This processing phase made the 3D textured model of the 
ceiling suitable both for motion tracking and AR visualization experiments, since it allowed a 
smooth transition between the view of the ceiling and the real scene. 
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Fig. 04. Views of the 
paintings that decorate 
the ceiling (Authors' 
image). 


Fig. 05. Left: the scan- 
ner viewed from the 
trapdoor and the part 
of the ceiling covered 
by a white coat. Right: 
the station points for 
the laser scanning 
survey of the ceiling 
(Authors' image). 


Motion Tracking Visualization 


The experiment aiming at the divulgation of this work of art, hidden and almost unknown, 
used two different techniques that allow to mix a real scene with a 3D model: motion track- 
ing for the remote fruition and AR for the on-site visualization. Motion tracking, a technique 
well known in film studios, allows to extract the camera's path of a footage, and use it in a 
simulation software tool, to create the footage of a digital model. The combination of the 
two videos, real and virtual, displays the digital object as one element of the real scene. 

In this study the 3D camera tracking was processed with Blender, using a footage shot inside the hall. 
The workflow that leads to the calculation of the camera's path is made of two steps: the first 
one, named camera solving, is based on SfM photogrammetric techniques. Camera solving 
detects and tracks, in a sequence of frames, some particular points named markers; once 
the markers are tracked, the path of the camera is calculated in a relative reference system. 
The second step of the motion tracking workflow, named Scene solving, is similar to the 
photogrammetric external orientation: this step leads to the orientation and the dimensional 
reference of the system calculated by the Camera solving. In this experiment three points 
detected on the inner surface of the vault provided the needed data for the detection of: i) 
a horizontal plane; ii) an origin point; iii) a reference axe and a distance measured on this axe. 
At the end of the workflow the camera path is referred to the coordinate system detected 
by the three markers (fig. 09). In the following step the optimized model of the ceiling has 
been uploaded into Blender and has been moved to match the Scene solving coordinate 
system. A video of the 3D textured model of the ceiling has been rendered inside Blender 
with a virtual camera that followed the path calculated with the motion tracking workflow. 
In the last step the video of the real scene and the video of the textured model have been 
composited in Blender; a transparency factor applied to the image of the vault in the footage 
of the real scene allows to visualize the ceiling inside the hall (fig. 10). 
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Fig. 06. 3D NURBS 
model of the hall, the 
vault and the pathways 
and mesh model of the 
ceiling; the steel beams 
are dark grey colored 
(Authors’ image). 


Fig. 07. Handmade 
support for photo 
shooting. The right 
image shows the 
breaks of the painted 
surface of one beam 
(Authors' image). 


Fig. 08. Photogramme- 
tric texturing of the 
mesh model extracted 
from the laser 
scanning point cloud 
(Authors: image). 
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AR visualization 


The AR app used in this research has been developed with the Area Target tool for Unity, 
recently released by Vuforia, that allows to refer the position of 3D models and other mul- 
timedia contents to a laser scan of a 3D scene. The use of a laser scan stored in a dedicated 
database, named Area Target Device Database, makes the AR App persistent in time and 
retrievable by more users at the same time. When the App makes the match between the 
aser scans and the camera video streaming captured by the mobile device, the virtual objects 
are anchored to the real scene and the user is free to move around and visualize the super- 
imposition between virtual objects and the real scene from any point of view. 

The Area Target Generator tool developed by the Vuforia Team allows to convert the laser 
scanning data in a database compatible with Unity; today the Area Target Generator sup- 
ports only the following scanning devices: i) Matterport™ Pro2 3D camera; ii) NavVis M6 
and VLX scanners; ili) Leica BLK360 and RTC360 scanners. A specific app for Apple iOS 
allows the use of 3D data taken by iPad and iPhones equipped with lidar sensors. 

n this study four laser scans of the hall have been taken with a Leica BLK 360 scanner; the 
scanning resolution has been set to the lower value and the image acquisition has been acti- 
vated in non HDR mode. The scans have been registered with the software Leica Cyclone 
and have been exported in the e57 file format; e57 allows to store in a unique file the metric 
data of the point cloud and the images taken by the scanner. Vuforia Area Target Generator 
uses these data for the creation ofthe database. The database is finally imported as a package 
into Unity; once Vuforias engine SDK has been added to Unity, the database is visualized as 
a point cloud inside Unity's scene panel. The optimized 3D textured model of the ceiling has 
been finally uploaded into Unity and has been referred to the database point cloud (fig. 11). 
The app, developed for the Android OS, has been tested on site with a Samsung S21 smart- 
phone (fig. 12). The AR tests on-site evidenced unexpected problems in the alignment be- 
tween the 3D model and the scene; at the start of the AR session the system properly 
works and performs a correct alignment, thus proving the efficacy of the software tool used 
for the experiment; in the following part of the session the position of the ceiling appears 
mismatched probably due to the repetitive features of the decoration of the plaster vault 
that mislead the pattern recognition and the calculation of the pose of the device. The ceiling 
appeared shifted along the longitudinal axe of the hall after a movement corresponding to 
the extension of one or more bays of the vault's decoration. 


Conclusions 


The research addressed the documentation and the visualization of an hidden work of art, 
a painted ceiling dated from the 14th century, today hidden by a plaster vault built in the 
18th century. Digital surveying and representation techniques led to the construction of the 
textured mesh model of the ceiling that documents its geometric and chromatic features. 
The model has been optimized and has been used for the development of two solutions for 
its visualization: motion tracking for divulgation and remote fruition; AR for on-site visualiza- 
tion. The test on AR visualization evidenced some mismatch between the model of the ceil- 
ing and the real scene; the way the mismatches appeared suggest that the repetitive feature 
of the decoration of the hall could be the feature that puzzles the calculation of the pose of 
the mobile device. Further researches will test AR visualization in similar environments, to 
prove if the link between mismatch and repetitive patterns is real and to search for solutions 
that prevent such errors in AR visualization. 
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Fig. 09. External 
orientation of the mo- 
tion tracking system 
with the aid of three 
markers. In the image 
below axes x (red) 
and y (green) are 
highlighted (Authors' 
image). 


Fig. 10. One frame of 
the video generated by 
the compositing pro- 
cess (Authors' image). 


Fig. | |. Left: Surveying 
session with a Leica 
BLK 360 scanner. 
Right: registration of 
the textured model 
of the ceiling and the 
point cloud generated 
by the Area Target 
enerator of Vuforia 
(Authors' image). 
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Fig. 12. AR Visualiza- 
tion session (Authors 
image). 
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